Gaze Path Stimulation in Retrospective Think-Aloud

For a long time, eye tracking has been thought of as a promising method for usability testing. During the last couple of years, eye tracking has finally started to live up to these expectations, at least in terms of its use in usability laboratories. We know that the user’s gaze path can reveal usability issues that would otherwise go unnoticed, but a common understanding of how best to make use of eye movement data has not been reached. Many usability practitioners seem to have intuitively started to use gaze path replays to stimulate recall for retrospective walk through of the usability test. We review the research on thinkaloud protocols in usability testing and the use of eye tracking in the context of usability evaluation. We also report our own experiment in which we compared the standard, concurrent think-aloud method with the gaze path stimulated retrospective think-aloud method. Our results suggest that the gaze path stimulated retrospective think-aloud method produces more verbal data, and that the data are more informative and of better quality as the drawbacks of concurrent think-aloud have been avoided

Eyes in Attentive Interfaces: Experiences from Creating iDict, a Gaze-Aware Reading Aid

Kun keskustelet toisen ihmisen kanssa, mihin asioihin puheen lisäksi kiinnität huomiosi? Paitsi keskustelukumppanin spontaanit eleet ja ilmeet, myös hänen katseensa käyttäytyminen auttaa tulkitsemaan välitettyä viestiä. Tietokoneen käyttöliittymissä kohteiden suora manipulointi hiiren avulla oli aikoinaan iso askel kohti helppokäyttöisempää käyttöliittymää, mutta luontaisia viestintäkeinojamme olisi nykyisin mahdollista hyödyntää myös tietokoneen ja ihmisen välisessä kommunikaatiossa huomattavasti monipuolisemmin. Jos tietokone olisi tietoinen käyttäjän tarkkaavaisuuden kulloisestakin kohteesta, voisimme kehittää paremmin käyttäjää ymmärtäviä ja käyttäjän toimiin mukautuvia sovelluksia. Yleisimmin käytetty tekniikka katseen kohteen seuraamiseksi perustuu silmästä otetun videokuvan analysointiin. Reaaliaikaista katseen kohteen seurantaa hyödynnetään toistaiseksi hyvin vähän, lähinnä vammautuneille suunnatuissa sovelluksissa. Tietyissä tilanteissa katse saattaa olla jopa ainoa kommunikointitapa: katseen avulla on kirjoitettu jopa kokonaisia kirjoja. Katseen seurannan avulla voidaan kuitenkin parantaa myös yleiskäyttöisempiä käyttöliittymiä. Annetun komennon kohde voidaan esimerkiksi tulkita suoraan katseen perusteella joutumatta osoittamaan sitä hiirellä, tai ohjelma saattaa pyrkiä suuntaamaan käyttäjän huomiota, jos havaitaan että käyttäjältä jää jokin tietyssä tilanteessa olennainen tieto huomaamatta. Tampereen yliopistossa tarkastettavassa väitöstyössä keskitytään tarkastelemaan, miten tietoa käyttäjän katseen kohteesta voidaan hyödyntää ihmisen ja tietokoneen välisessä käyttöliittymässä. Aiheeseen paneudutaan esimerkkisovelluksen, iDictin, kautta. iDict avustaa vieraskielisten dokumenttien lukijaa seuraamalla lukijan katsetta tekstiä luettaessa ja antamalla hänelle automaattisesti apua kun oletetaan siihen olevan tarvetta. Työtä voidaan pitää osoituksena siitä, että katseenseurannan avulla kaikille tarkoitetuista sovelluksista on mahdollista tehdä tehokkaampia ja käytettävyydeltään miellyttävämpiä. Ihmisen näköjärjestelmän fysiologisista ominaisuuksista johtuen katseen kohteen mittaustarkkuus on rajoitettu. Työssä todistetaan mm., että tekstiä luettaessa katseen kohteen virhemäärityksiä on mahdollista kompensoida algoritmisesti. Käyttäjätestit osoittivat, että konsepti on hyvinkin kehityskelpoinen. Yli puolet testihenkilöistä olisi olleet valmiita ottamaan käyttöön katsesovelluksen mieluummin kuin hiirellä käytettävän sovelluksen. Näin siitä huolimatta, että hiiren käyttö oli kaikille tuttua ja katseen seurantatietojen käyttäminen ohjelman "syötteenä" entuudestaan tuntematonta.The mouse and keyboard currently serve as the predominant means of passing information from user to computer. Direct manipulation of objects via the mouse was a breakthrough in the design of more natural and intuitive user interfaces for computers. However, in real life we have a rich set of communication methods at our disposal; when interacting with others, we, for example, interpret their gestures, expressions, and eye movements. This information can be used also when moving human-computer interaction toward the more natural and effective. In particular, the focus of the user s attention could often be a valuable source of information. The focus of this work is on examining the benefits and limitations in using the information acquired from a user s eye movements in the human­computer interface. For this purpose, we developed an example application, iDict. The application assists the reader of an electronic document written in a foreign language by tracking the reader s eye movements and providing assistance automatically when the reader seems to be in need of help. The dissertation is divided into three parts. The first part presents the physiological and psychological basics behind the measurement of eye movements, and we also provide a survey of both the applications that make use of eye tracking and the relevant research into eye movements during reading. The second section introduces the iDict application, from both the user s and the implementer s point of view. Finally, the work presents the experiments that were performed either to inform design decisions or to test the performance of the application. This work is proof that gaze-aware applications can be more pleasing and effective than traditional application interfaces. The human visual system imposes limits on the accuracy of eye tracking, which is why we, for example, are unable to narrow down with certainty the reader s focus of gaze to a target word. This work demonstrates, however, that errors in interpreting the focus of visual attention can be algorithmically compensated. Additionally, we conclude that the total time spent on a word is a reasonably good indicator in judging comprehension difficulties. User tests with iDict were encouraging. More than half of the users preferred using eye movements to the option of using the application traditionally with the mouse. The result was obtained even when the test users were familiar with using a mouse but not with the concept of the eye as an input device

Eyes in Attentive Interfaces: Experiences from Creating iDict, a Gaze-Aware Reading Aid

Kun keskustelet toisen ihmisen kanssa, mihin asioihin puheen lisäksi kiinnität huomiosi? Paitsi keskustelukumppanin spontaanit eleet ja ilmeet, myös hänen katseensa käyttäytyminen auttaa tulkitsemaan välitettyä viestiä. Tietokoneen käyttöliittymissä kohteiden suora manipulointi hiiren avulla oli aikoinaan iso askel kohti helppokäyttöisempää käyttöliittymää, mutta luontaisia viestintäkeinojamme olisi nykyisin mahdollista hyödyntää myös tietokoneen ja ihmisen välisessä kommunikaatiossa huomattavasti monipuolisemmin. Jos tietokone olisi tietoinen käyttäjän tarkkaavaisuuden kulloisestakin kohteesta, voisimme kehittää paremmin käyttäjää ymmärtäviä ja käyttäjän toimiin mukautuvia sovelluksia. Yleisimmin käytetty tekniikka katseen kohteen seuraamiseksi perustuu silmästä otetun videokuvan analysointiin. Reaaliaikaista katseen kohteen seurantaa hyödynnetään toistaiseksi hyvin vähän, lähinnä vammautuneille suunnatuissa sovelluksissa. Tietyissä tilanteissa katse saattaa olla jopa ainoa kommunikointitapa: katseen avulla on kirjoitettu jopa kokonaisia kirjoja. Katseen seurannan avulla voidaan kuitenkin parantaa myös yleiskäyttöisempiä käyttöliittymiä. Annetun komennon kohde voidaan esimerkiksi tulkita suoraan katseen perusteella joutumatta osoittamaan sitä hiirellä, tai ohjelma saattaa pyrkiä suuntaamaan käyttäjän huomiota, jos havaitaan että käyttäjältä jää jokin tietyssä tilanteessa olennainen tieto huomaamatta. Tampereen yliopistossa tarkastettavassa väitöstyössä keskitytään tarkastelemaan, miten tietoa käyttäjän katseen kohteesta voidaan hyödyntää ihmisen ja tietokoneen välisessä käyttöliittymässä. Aiheeseen paneudutaan esimerkkisovelluksen, iDictin, kautta. iDict avustaa vieraskielisten dokumenttien lukijaa seuraamalla lukijan katsetta tekstiä luettaessa ja antamalla hänelle automaattisesti apua kun oletetaan siihen olevan tarvetta. Työtä voidaan pitää osoituksena siitä, että katseenseurannan avulla kaikille tarkoitetuista sovelluksista on mahdollista tehdä tehokkaampia ja käytettävyydeltään miellyttävämpiä. Ihmisen näköjärjestelmän fysiologisista ominaisuuksista johtuen katseen kohteen mittaustarkkuus on rajoitettu. Työssä todistetaan mm., että tekstiä luettaessa katseen kohteen virhemäärityksiä on mahdollista kompensoida algoritmisesti. Käyttäjätestit osoittivat, että konsepti on hyvinkin kehityskelpoinen. Yli puolet testihenkilöistä olisi olleet valmiita ottamaan käyttöön katsesovelluksen mieluummin kuin hiirellä käytettävän sovelluksen. Näin siitä huolimatta, että hiiren käyttö oli kaikille tuttua ja katseen seurantatietojen käyttäminen ohjelman "syötteenä" entuudestaan tuntematonta.The mouse and keyboard currently serve as the predominant means of passing information from user to computer. Direct manipulation of objects via the mouse was a breakthrough in the design of more natural and intuitive user interfaces for computers. However, in real life we have a rich set of communication methods at our disposal; when interacting with others, we, for example, interpret their gestures, expressions, and eye movements. This information can be used also when moving human-computer interaction toward the more natural and effective. In particular, the focus of the user s attention could often be a valuable source of information. The focus of this work is on examining the benefits and limitations in using the information acquired from a user s eye movements in the human­computer interface. For this purpose, we developed an example application, iDict. The application assists the reader of an electronic document written in a foreign language by tracking the reader s eye movements and providing assistance automatically when the reader seems to be in need of help. The dissertation is divided into three parts. The first part presents the physiological and psychological basics behind the measurement of eye movements, and we also provide a survey of both the applications that make use of eye tracking and the relevant research into eye movements during reading. The second section introduces the iDict application, from both the user s and the implementer s point of view. Finally, the work presents the experiments that were performed either to inform design decisions or to test the performance of the application. This work is proof that gaze-aware applications can be more pleasing and effective than traditional application interfaces. The human visual system imposes limits on the accuracy of eye tracking, which is why we, for example, are unable to narrow down with certainty the reader s focus of gaze to a target word. This work demonstrates, however, that errors in interpreting the focus of visual attention can be algorithmically compensated. Additionally, we conclude that the total time spent on a word is a reasonably good indicator in judging comprehension difficulties. User tests with iDict were encouraging. More than half of the users preferred using eye movements to the option of using the application traditionally with the mouse. The result was obtained even when the test users were familiar with using a mouse but not with the concept of the eye as an input device

Development of Program Visualization Systems 1

The last decade has been a very active period of designing systems for program visualization. Without proper means for describing and evaluating both existing and new systems further develoment may be delayed. Recently, several researchers have been working for creating taxonomies for program visualization systems. During the active period of system development benefits of visualization were often praised without criticism, and scientific references were rarely presented. What do we really know about usefulness of program visualization? We first present the state of the work with the terminology and taxonomy in the dicipline. Moreover, we review the existing empirical studies on the benefits of graphical presentation of programs. We also give a reference list to the existing program visualization systems